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[ Abstract ] 

Control devices in the form of moving elements are used for effecting numerous types of 
inputs to electronic equipment. As a rule, the system information required for the control is 
output by means of visual display devices in the case of electronic equipment. However, the 
inputting of information can be effected by feedback directly to the input device, for which a 
haptically perceptible information output can be used. 

An input device with moving elements located at the contact surface and/or at the 
actuating surface is proposed. These elements are linked to electromechanical transducers (e.g., 
solenoids, plunger coil systems or piezoelements) that are activated by the control system and 
induce motion of the elements relative to the surface where this motion can be haptically sensed 
by the operator. Thus, the profile of the display contents, for example, can be tangibly imaged in 
the region of the mouse position (Figure 3). 
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Application examples are for an input mouse in computer-based input activities (e.g., for 
text processing or CAD systems), positioning aids in graphic input devices, a device for 
information feedback for keyboard input devices, and also additional information transmission 
through haptic perception of coded information in input devices. 




rio rum 

Key: 1 2X2 resolution (coarse imaging) 
2 6X4 resolution (precise imaging) 

The invention pertains to a device to control an apparatus according to the preamble of 
Claim 1. 

Control devices in the form of moving elements, in which the input information is passed 
on to the system under control by means of manually implemented spatial changes in all or parts 
of the element, are used for effecting numerous types of inputs to electronic equipment. As a 
rule, the system information required for the control is output from the electronic equipment by 
means of visual display devices. 

Thus, the operator perceives the information from the technical system by means of 
visual perception channels and passes the control information mechanically by means of a 
movement or force generation of the system. The information received or processed by the 
system is, in turn, displayed visually. The transfer of information is thus characterized by 
different sensory channels from the system to the operator and vice versa, which accordingly 
requires extensive information processing steps (and time) for the operator. 

If a defined function independent of the state of the system is carried out with the input 
element, then the feedback information can be supplied by variable motion resistance or by an 
opposing force as a function of the movement (e.g., keys and buttons with fixed or variable 
picture elements). In the case of input devices whose function is dependent on the state of the 
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system (this is the case for nearly all types of computer input devices, for example), since the 
kind of input information changes, the output information must be independent of it. As a rule, 
for the transfer of system information to the operator, this type of large information volume is 
required and cannot be transferred via the control element alone, so that in a practical 
implementation, usually visual information outputs are used. 

Of course, in actual operation, the large quantity of the total information volume must be 
provided, but for the control input itself, usually only a relatively small, highly relevant portion 
of this information is needed (e.g., when moving a mouse cursor to find a defined position within 
a display menu). This portion should be passed directly at high speed, i.e., with the least possible 
code conversion effort, to the processing centers of the operator, to ensure minimum effort for 
operation. Furthermore, it is known that in the case of high information densities, information 
with redundant output can be processed more precisely, particularly when it is output in different 
sensory modalities. 

The invention has the advantage that the control element considerably improves 
communication between the system and the operator by means of tactile transmission of highly 
relevant information (from system to operator) directly to the control element and parallel to the 
conventional (in general, visual) information display, without manipulating the control process 
itself or restricting the overall view of the available information (Figure 2). 

Embodiments 

The implementation of the invention is explained below based on several examples for 
conventional applications. 

a) Input mouse for computer-based input activities 

In the case of input activities for text processing or CAD systems, for example, the 
inputting of position or of a design instruction usually occurs through the movement of a 
so-called computer mouse. The current position of the mouse on the video display is indicated 
visually. In a conventional computer mouse, every mouse movement must be visually perceived 
by the operator, then verified and converted into a corresponding mechanical activity. 
Accordingly, relatively extensive information processing required by the operator who will need 
a sufficient "training" period, since the mouse does not in itself.provide any type of "feel." 

The embodiment of the invention consists in a computer mouse that in addition to the 
usual function, provides the operator with haptically perceptible images by means of the parts of 
the mouse touched by the operator (i.e., the actuating buttons and perhaps their adjacent 
perimeter and/or the holding or control surface) by means of a matrix of elements that move 
perpendicular to the contact surface that indicate the profile of the contents of the video display 
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in the region of the mouse position (Figure 1). To do this, no electromechanical transducers 
(solenoids, plunger coil systems or piezoelements) are provided within the operating buttons 
whose motions are transmitted by means of a small path rod to the contacted surface. The 
activation of the transducer by the control computer leads to movement of the push rod relative 
to the surface, without thereby affecting the input function. This makes possible a redundant 
perception of the information needed for input by means of an optical and a tactile plane, and 
thus permits a much faster positioning (Figure 3). Depending on the particular problem at hand, 
the number of matrix elements can vary from a single element (for a relatively coarse imaging 
for very fast information processing) up to a detailed imaging of the image content (precise 
imaging at reduced speed). The imaging scale should correspond to the input scale, i.e., the 
perceived distance to the given element should correspond to the actual movement needed to 
reach the element. 

b) Positioning aid for visual-graphic input devices 

For finding particular mouse positions (e.g., a line on a video display) the sole 
transmission of the surface profile (as in example a)) is not sufficient to ensure locating the 
desired position. In this case, two (or more) actuators operating according to the described 
principle are located at the left and right sides of the input device, so that when a particular event 
or element is reached, they give the impression of "locking" (Figure 4). The advantage of this 
type of information transfer device compared better with a controllable braking device for 
manipulation of the motion resistance (see patents DE 38 28 416 Al and JP 62[1987]-75830) is 
that it operates independently of the rate of motion and consequently allows a static and 
quasi-static operation. 

c) Information feedback device for keyboard input units 

The embodiment indicated in example a) is supplied for one or more keys of a keyboard. 
In the central region of the key there is a small push rod that is driven by an electromagnetic 
transducer and that causes motion of the push rod relative to the surface of the key. This permits 
information feedback of the executed function directly on the actuating element (Figure 5): If a 
key is held down for repeated input (e.g., "xxxxxx"), then the triggering of each character leads 
to a triggering of the transducer, thereby signaling the operator that the input is completed. This 
device can be used to advantage, particularly for input devices with variable execution speeds 
(e.g., for direction keys with exponential speed characteristic or computer programs with 
different execution speeds). 
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d) Coded information transfer in input devices 

Depending on the particular problem and on the training level of the operator, the user is 
in a position to process by tactile means a total volume of information of 20-60 bps in parallel 
with visual perception. The configuration shown in examples a) and b) produces coded 
information (by means of correspondingly changed control signal generation for the transducer) 
in the form of vibrations of different frequency and intensity that is passed as supplemental 
information (Figure 6). 



Figure 1 Principle of an input device with tactile feedback 

Figure 2 Schematic of information processing in a man-machine system with 

influence on the device for tactile feedback 
Figure 3 Input device with tactile feedback to an input mouse for computer-based 

input activities 

Figure 4 Input device with tactile feedback as a positioning aid to an input mouse 

for computer-based input activities. 
Figure 5 Input device with tactile feedback for keyboard input 
Figure 6 Coding of the stimulus signals for parallel transmission by means of tactile 

feedback. 



Claims 

1 . Device for manual control of equipment through spatial movement of a control 
element, characterized in that the control element is equipped with output devices that produce 
the output of supplemental information to the operator from the system (parallel with the direct 
output of information) in the form of haptically perceptible changes in position (variation in the 
surface structure of the skin, surface sensitivity) of parts of the control element relative to same, 
independently of the operating input itself (Figure 1). 

2. Device according to Claim 1, characterized in that, in the case of equipment with 
visual information output (e.g., with video display), the control element presents information that 
is characterized by visually perceptible properties, simultaneously in the form of an analog 
surface pattern perceptible by tactile means on the control element, or in the form of a surface 
profile, without thereby directly changing its input function. 

3. Device according to Claim 1, characterized in that in the case of equipment with visual 
information output and operating inputs by means of spatial allocation of the imaged control 
element position or movement for image information (example: computer mouse), the control 
element images the image information at the set position and/or in the adjacent vicinity of said 
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set position in a haptically perceptible manner, without thereby directly changing its input 
function. 

4. Device according to Claim 1, characterized in that the control element outputs 
haptically perceptible information in the same direction as the input motion, so that the operator 
has the impression of a mechanical force effect emanating from the control element (comparable 
to that of a mechanical brake or accelerator). 

5. Device according to Claims 1-4, characterized in that the control element transmits 
additional system information in a coded format (by means of conventional, learnable tactile 
stimuli, e.g., vibrations). 

Fig. 1 



Pig. 2 



Aufg aben - 



•Manseh'i- 


ill 






3S 










vteutlUr 








motorf*ch« 


























16I Erptbnl* 



Key: 1 Operator 
2 Task 



THIS PAGE BLAS\!K (uspto) 



3 Visual sensory organs 

4 Visual information processing 

5 Determination of the response activity 

6 Motor control 

7 Output organ 

8 Tactile information processing 

9 Tactile sensory organs 

10 Tactile feedback 

1 1 Tactile output 

12 Machine 

13 Visual output 

1 4 Information processing 

15 Input device 

16 Result 
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2 6x4 resolution (precise imaging) 




Key: 1 e.g., vibration 
2 No stimulus 
Half-intensity 
Full-intensity 
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Key: 1 The number of automatic repetitions of a character can be sensed by tactile 
feedback: ddddd 
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The stimulus patterns can be decoded with the aid of the learned patterns and 




converted into the corresponding information 
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Prufungsantrag gem. § 44 PatG ist gestellt 
(5) Eingabevorrichtung mit taktilem Feedback 

@ Bedienungseinrichtungen in Form von beweglichen Ele- 
menten werden fur vielfaltige Arten von Eingaben an 
etektronischen Geraten verwendet. Die zur Steuerung in der 
Regel notwendigen System informationen werden bei elek- 
tronischen Geraten normalerwetse uber visuelte Anzeigevor- 
richtungen ausgegeben. Eine Eingabe von Informationen 
la&t sich jedoch durch eine Ruckkopplung direkt am Einga- 
begerat effektivieren, wofur eine taktil wahrnehmbare Infor- 
mationsausgabe genutzt werden kann. 
Es wird eine Eingabevorrichtung mit an der Beruhrungs- 
und/oder Betatigungsflache angeordneten beweglichen Ele- 
menten vorgeschlagen. Diese Elemente sind an elektrome- 
chanische Wandler (z. B. Hubmagnete, Tauchspulsysteme 
oder Piezo-Elemente), die vom Steuersystem aktiviert wer- 
_ den, gekoppelt und bewirken eine von der Bedienungsper- 
~ son taktil wahrnehmbare Relativbewegung der Elemente zur 
Oberflache. Damit kann z. B. das Profil des Bildschirminhalts 
im Bereich der Mausposition f uhlbar abgebildet werden (Fig. 
P 3). 

0 Anwendungsbeispiele sind eine Eingabemaus bei computer- 
gestutzten Eingabetatigkeiten (z. B. bei Textverarbeitungs- 
oder CAD-Systemen), Positionierhilfen bei grafischen Einga- 
begeraten, eine Einrichtung zur Informationsruckkopplung 
bei Tastatureingabegeraten sowie eine zusatzliche Informa- 
tionsubertragung durch taktil wahrnehmbare und kodierte 
Informationen bei Eingabegeraten. 
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Beschreibung Realisierungsbeispiele 

Die Erfindung betrifft eine Einrichtung zur Steuerung Die Ausfuhrung der Erfindung ist im folgenden an- 

eines Gerates nach dem Oberbegriff des Patentanspru- hand einiger Beispiele fur gangige Anwendungen erlau- 

ches 1. 5 tert: 

Bedienungseinrichtungen in Form von beweglichen 

Elementen, bei denen die Eingabeinformation durch ei- a) Eingabemaus bei computergestutzten 

ne manuell durchgefuhrte raumliche Veranderung des Eingabetatigkeiten 
gesamten Elementes oder Teilen des Elementes an das 

zu steuemde System ubermittelt wind, werden fur viel- 10 Bei Eingabetatigkeiten beispielsweise an Textverar- 

falttge Arten von Eingaben an elektronischen Geraten beitungs- oder CAD-Systemen erfolgt die Eingabe einer 

verwendet Die zur Steuerung in der Regel notwendi- Position oder einer Ausfuhrungsanweisung meist durch 

gen Systeminformationen werden bei elektronischen die Bewegung einer sog. Computermaus. Die aktuelle 

Geraten normalerweise uber visuelle Anzeigevorrich- Position der Maus wird auf dem Bildschirm optisch dar- 

tungen ausgegeben. is gestellt. Bei einer konventionellen Computermaus muB 

Der Bediener nimmt also seine Information vom tech- jede Mausbewegung vom Menschen optisch wahrge- 

nischen System uber visuelle Wahrnehmungskanale auf nommen, kontrolliert und in eine entsprechende mecha- 

und ubergibt die Steuerungsinformation mechanisch nische Betatigung umgesetzt werden. Dementspre- 

mit Hilfe einer Bewegung oder Krafterzeugung an das chend ist ein relativ umfangreicher Informationsverar- 

System. Die vom System aufgenommene bzw. verarbei- 20 beitungsprozeQ im Menschen notwendig, der ein ausrei- 

tete Information wird wiederum visuell dargesteltt Die chendes w Einuben n bedingt, da die Maus an sich keinerlei 

Informationsubertragung ist also durch unterschiedli- "GefuhP vermittelt 

che Sinneskanale vom System zum Bediener und umge- Die Realisierung der Erfindung besteht in einer Com- 

kehrt gekennzeichnet, was entsprechend umfangreiche putermaus, die neben der ublichen Funktion dem Men- 
Informationsverarbeitungsleistungen (und -zeiten) beim 25 schen uber die von ihm beruhrten Teile der Maus (d h. 

Bediener erfordert die Betatigungsknopfe und ggf. dessen naheres Umfeld 

Wird mit dem Eingabeelement eine definierte und und/oder die Griff- bzw. Fuhrungsflache) mittels einer 

vom Systemzustand unabhangige Funktion ausgefuhrt, Matrix von senkrecht zur Beruhrungsflache bewegli- 

so kann eine Ruckmeldungsinformation naherungswei- chen Elementen das Profil des Bildschirminhaltes im 
se durch einen variablen Bewegungswiderstand oder 30 Bereich der Mausposition taktil wahrnehmbar abbildet 

eine von der Bewegung abhangige Gegenkraft erfolgen (Fig. 1). Hierzu sind kleine elektromechanische Wandler 

(z. B. Tasten und Knopfe mit festen oder variablen Rast- (Hubmagnete, Tauchspulsysteme oder Piezo-Elemente) 

punkten). Bei Eingabegeraten, deren Funktion vom Sy- innerhalb der Betatigungsknopfe angeordnet, deren Be- 

stemzustand abhangig ist (dies ist z. B. bei fast alien wegungen uber kleine StoBel auf die beruhrte Oberfla- 
Arten von Gomputereingabegeraten der Fall), andert 35 che ubertragen werden. Die Aktivierung der Wandler 

sich die Art der Eingabeinformation, daher muB die vom Steuerrechner fuhrt zu einer Bewegung der StoBel 

Ausgabeinformation hiervon unabhangig sein. In der relativ zur Oberflache, ohne die Eingabefunktion da- 

Regel ist auch zur Obertragung der Systeminformatio- durch zu beeintrachugen. Dies ermoglicht eine redun- 

nen an den Bediener eine derart hohe Informationsmen- dante Wahrnehmung der fur die Eingabe notwendigen 
ge notwendig, die nicht uber das Bedienungselement 40 Informationen uber eine optische und eine taktile Ebene 

alleine ubertragen werden kann, so daB in der prakti- und erlaubt so eine wesentlich beschleunigte Positionie- 

schen Realisierung meist visuelle Informationsausgaben rung (Fig. 3). Je nach Aufgabenstellung kann die Zahl 

verwendet werden. ' der Matrixelemente von einem einzigen Element (fur 

Fur die konkrete Bedienung muB zwar die grofle eine relativ grobe Abbildung bei sehr schneller Informa- 
Menge der Gesamtinformation dargeboten werden, zur 45 tionsverarbeitung) bis zu einer detaillierten Abbildung 

Bedienungseingabe selbst ist jedoch meist nur ein rela- des Bildinhaltes variieren (genaue Abbildung bei ver- 

tiv kleiner Teil dieser Information von hoher Relevanz minderter Geschwindigkeit). Der AbbildungsmaBstab 

(z. B. beim Bewegen eines Mauscursors zum Auffinden sollte dem EingabemaBstab entsprechen, d. h. der wahr- 

einer bestimmten Position innerhalb eines Bildschirm- genommene Abstand zu einem gegebenen Element soil- 
menus). Dieser Teil sollte im Interesse einer beanspru- 50 te der tatsachlich notwendigen Bewegung zum Errei- 

chungsminimalen Bedienung mit hoher Geschwindig- chen des Elementes entsprechen. 
keit direkt, d. h. mit moglichst geringem Umkodierungs- 

aufwand, an die Verarbeitungszentren im Menschen b) Positionierhilfe fur grafisch -visuelle Eingabegerate 
ubermittelt werden. Desweiteren ist bekannt, daB bei 

hoher Informationsdichte Informationen bei redundan- 55 Zum Auffinden bestimmter Mauspositionen (z. B. ei- 

ter Ausgabe praziser verarbeitet werden konnen, insbe- ner Linie auf dem Bildschirm) kann die alleinige Ober- 

sondere wenn sie in unterschiedlicher Sinnesmodalitat tragung des Oberflachenprofiles (wie in Beispiel a)) 

ausgegeben werden. noch nicht zum sicheren Auffinden der gewunschten 

Die Erfindung weist den Vorteil auf, daB das Bedie- Position fuhren. Hierzu werden zwei (oder mehr) Ak- 
nungselement mittels einer taktilen Obertragung der 60 tuatoren nach dem vorgeschilderten Prinzip an der lin- 

Informationsanteile hoher Relevanz (vom System zum ken und rechten Seite des Eingabegerates angeordnet, 

Bediener) direkt auf das Bedienungselement und paral- die beim Erreichen eines bestimmten Ereignisses bzw. 

lei zur konventionellen (L allg. visuellen) Informations- Elementes den Eindruck des "Einrastens" vermitteln 

darbietung die Kommunikation zwischen System und (Fig, 4). Eine solche Informationsubertragungsanord- 
Bedienungsperson erheblich verbessert, ohne den Be- 65 nung hat gegenuber einer ebenso denkbaren steuerba- 

dienungsvorgang selbst zu manipulieren oder den Ge- ren Bremsvorrichtung zur Manipulation des Bewe- 

samtuberblick Uber verfugbare Informationen einzu- gungswiderstandes (vgl. Patente DE 38 28 416 Al und 

schranken(Fig. 2). JP 62-75 830) den Vorteil, unabhangig von der Bewe- 
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gungsgeschwindigkeit zu wirken und demzufolge einen 
statischen und quasi-statischen Betrieb zu ermoglichen. 

c) Informationsruckkopplungseinrichtung bei 

Tastatureingabegeraten 5 . 

Die im Beispiel a) gezeigte Anordnung wird in einer 
oder mehreren Tasten einer Tastatur angebracht. Im 
zentralen Bereich der Taste befindet sich ein kJeiner 
StoBel, der, von einem elektromagnetischen Wandler io 
angetrieben, eine Relativbewegung des StoBels zur Ta- 
stenoberflache bewirkt Dies ermoglicht eine Informa- 
tionsruckkoppelung der ausgefuhrten Funktion direkt 
auf das Betatigungselement (Fig- 5): Wird beim dauer- 
haften Drucken einer Xaste eine Mehrfacheingabe 15 
durch eine entsprechende Auslegung der Eingabevor- 
richtung ausgefuhrt (z. B. w xxxxxx w ) t so fiihrt die Ausfuh- 
rung jedes Zeichens zu einer Ausldsung des Wandlers 
und signaltsiert so dem Bediener die erfolgte Eingabe. 
Diese Vorrichtung ist insbesondere bei Eingabe vorrich- 20 
tungen mit variablen Ausfuhrungsgeschwindigkeiten 
(z. B. bei Richtungstasten mit exponentieller Geschwin- 
digkeitscharakteristik oder Rechenprogrammen mit un- 
terschiedlicher Ausfuhrungsgeschwindigkeit) von Vor- 
tei!. 25 

d) Kodierte Informationsubertragung bei 
Eingabegeraten 

Je nach Aufgabenstellung und Einubung ist der 30 
Mensch in der Lage, auf taktilem Wege eine Informa- 
tionsmenge von insgesamt 20 — 60 bit/s parallel zur opti- 
schen Wahrnehmung zu verarbeiteit Die den in Beispie- 
ien a) und b) gezeigte Anordnung erzeugt, durch ent- 
sprechend veranderte Steuersignalerzeugung fur die 35 
Wandler, kodierte Informationen in Form von Vibratio- 
nen unterschiedlicher Frequenz und Intensitat, die da- 
durch Zusatzinformationen Qbertragen (Fig. 6). 

Fig. 1 Prinzip einer Eingabevorrichtung mit taktilem 
Feedback, 40 

Fig. 2 Schema der Informationsverarbeitung in einem 
MenschMaschine-System mit EinfluB der Einrichtung 
des taktilen Feedbacks, 

Fig. 3 Eingabevorrichtung mit taktilem Feedback an 
einer Eingabemaus fur computergestiitzte Eingabeta- 45 
tigkeiten, 

Fig. 4 Eingabevorrichtung mit taktilem Feedback als 
Positionierhilfe an einer Eingabemaus fur computerge- 
stutzte Eingabetatigkeiten, 

Fig. 5 Eingabevorrichtung mit taktilem Feedback bei 50 
Tastatureingabe, 

Fig. 6 Kodierung der Reizsignale zur Parallelubertra- 
gung mittels taktilem Feedback- 
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wirken (Fig. 1). 

2. Einrichtung nach Anspruch I, dadurch gekenn- 
zeichnet, dafi bei Geraten mit visueller Informa- 
tionsausgabe (z. B. Bildschirmgerate) das Bedie- 
nungselement Informationen, die durch visuell 
wahrzunehmende Merkmale gekennzeichnet sind, 
simultan in Form eines am Bedienungselement 
taktil wahrnehmbaren analogen oder quantifizier- 
ten Oberflachenmusters bzw. Oberflachenprofiles 
darbietet, ohne dessen Eingabefunktion dadurch 
unmittelbar zu verandern. 

3. Einrichtung nach Anspruch 1, dadurch gekenn- 
zeichnet, daB bei Geraten mit visueller Informa- 
tionsausgabe und Bedienungseingaben durch 
raumliche Zuordnung der abgebildeten Bedie- 
nungselementposition oder -bewegung zur Bildin- 
formation (Bsp.: Computermaus) das Bedienungs- 
element die Bildinformation an der eingestellten 
Position und/oder das nahere Umfeld derselben 
taktil wahrnehmbar abbildet, ohne dessen Eingabe- 
funktion dadurch zu verandern. 

4. Einrichtung nach Anspruch 1, dadurch gekenn- 
zeichnet, daB das Bedienungselement taktil wahr- 
nehmbare Informationen richtungsgleich zur Ein- 
gabebewegung ausgibt, so daB beim Bediener der 
Eindruckk einer mechanischen Krafteinwirkung 
ausgehend vom Bedienungselement (vergleichbar 
mit dem einer mechanischen Bremse oder Be- 
schleunigung) entsteht 

5. Einrichtung nach Anspruch 1 bis 4, dadurch ge- 
kennzeichnet, daB das Bedienungselement System- 
informationen zusatzlich in codierter Form (durch 
vereinbarte, erlernbare taktile Reize, z. B. Vibratio- 
nen) ubermittelt 



Hierzu 6 Seite(n) Zeichnungen 



Patentanspruche 55 

1. Einrichtung zur manuellen Steuerung eines Ge- 
r^tes durch raumliche Bewegung eines Bedie- 
nungsel e men tes, dadurch gekennzeichnet, daB das 
Bedienungselement mit Ausgabevorrichtungen 60 
ausgestattet ist, die eine zusatzliche Informations- 
ausgabe vom System (parallel zur direkten Infor- 
mationsausgabe) in Form von taktil wahrnehmba- 
ren Positionsveranderungen (Veranderungen in 
der Oberflachenstruktur der Haut, Oberflachen- 65 
sensibilitat) von Teilen des Bedienungselementes 
relativ zu demselben, unabhangig von der Bedie- 
nungseingabe selbst, an die Bedienungsperson be- 
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